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(§) Verfahren zur Verbesserung der Bildsegmentierung einer Bildfernsprech-Szene 

Die Ubertragungsbitrate einer Bildfernsprech-Szene soil 
durch eine Bildsegmentierung herabgesetzt werden, bei der 
nur die durch das bewegte Aufnahmeobjekt dargestellte 
Vord erg rund inform at ion zu ubertragen werden braucht. Die 
im wesentlichen station are Hintergrundinformation kann 
einem Speicher entnommen werden. 
Zur besseren Trennung von Vordergrund- und Hintergrund- 
information werden aus dem in bekannter Weise entfer- 
nungsabhangigen Versatz der Objektkonturen zweier stere- 
oskopisch aufgenommener Fernschilder nach den bisherfur 
die Ermittlung von Bewegungsvektoren verwendeten Ver- 
fahren Entfernungsvektoren gewonnen. Fur die anschlie- 
ftende Bildverarbertung werden lediglich Entfernungsvekto- 
ren ab einer bestimmten Grd&e verwendet Eine weitere 
■ Hervorhebung des Aufnahmeobjekts ist durch lediglich den 
f Vordergrund scharf abbildende Optiken erzielbar. Auch 
kann der Vordergrund durch optische Unscharfemarkierung 
des Hintergrundes hervorgehoben werden (Fig. 3). 
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Patentansprttche 

1. Verfahren zur Verbesserung der Bildsegmentie- 
rung einer Bildfernsprech-Szene in eine durch das 
bewegte Aufnahmeobjekt dai^gesteflten variablen 5 
Vordergrundinformatbn und eine im wesentOchen 
stationare, nur einmal zu ubertragende Hinter- 
grundinformation, dadurch gekennzeichnet, daB 
zunachst in bekannter Weise durch zwei nebenein- 
ander angeordnete Kameras (10) zwei Fernsehbil- 10 
der des gleichen Objekts stereoskopisch aufgenom- 
men werden, daB darauf aus dem entfernungsab- 
hangigen Versatz der Konturen der beiden Bilder 
des Aufnahmeobjektes nach einem der fur die Er- 
mittlung von Bewegungsvektoren bekannten Ver- is 
fahren jedes Bildelement mit einem Entfernungs- 
vektor versehen wind, der sich reziprok zur Entfer- 
nung der Kamera vom Aufnahmeobjekt verhalt, 
und daB fur die anschlieflende Bildverarbeitung le- 
diglich die Entfernungsvektoren ab einer bestimm- 20 
ten GroBe verwendet werden (Fig, 3). 

2. Verfahren nach Patentanspruch t, dadurch ge- 
kennzeichnet, daB durch eine lediglich den Vorder- 
grund scharf abbildende Optik in den Aufnahmeka- 
meras eine zusatzliche Hervorhebung des Aufnah- 25 
meobjekts erreicht wird (Fig. 3). 

3. Verfahren nach den Patentansprflchen 1 und 2, 
dadurch gekennzeichnet, daB der Vordergrund 
durch eine Unscharfemaskierung des Hintergrun- 
des hervorgehoben wird. 30 

4. Verfahren nach Patentanspruch 1, dadurch ge- 
kennzeichnet, daB die Ermittlung der Entfernungs- 
vektoren nach dem sogenannten Block-Matching- 
Verfahren erfolgt 

5. Verfahren nach Anspruch 1, dadurch gekenn- 35 
zeichnet, daB die Ermittlung der Entfernungsvekto- 
ren mit diff erentiellen Methoden erfolgt 

Beschreibung 

40 

Die Erfindung betrifft ein Verfahren nach dem Gat- 
tungsbegriff des Patentanspruchs 1. 

Die Fig. 1 verdeutlicht die Aufgabenstellung. Sie zeigt 
eine typische Bildfernsprech-Szene, die im Vordergrund 
den hier als Kreis 3 bzw. 4 dargestellten Kopf des Ge- 45 
spiiichspartners enthalt der sich in der durch den Pfeil 5 
angedeuteten Rtchtung bewegt, wahrend der Hinter- 
grund 1 — abgesehen von dem im folgenden behandel- 
ten Sachverhalt — unverandert bleibt Bei der Bewe- 
gung des Kopfes im Vordergrund von der gestrichelt 50 
gezeichneten Stellung 3 in die ausgezogene Stellung 4 
werden vorher abgedeckte Bereiche des Hintergrundes 
frei. Die Bewegung des Kopfes hat also eine Bild&nde- 
rung in den Bereichen 3 und 4 zur Folge. 

Einfachere Segmentierungsverfahren vermogen zwi- 55 
schen stationgrem Hintergrund und geanderten Berei- 
chen zu unterscheiden. Es sind aber auch bereits Seg- 
mentierungsverfahren bekannt, welche die bewegten 
Objekte von den durch die Bewegung frei werdenden 
Hintergrundbereichen trennen. (Klie, J.: 'Codierung von 60 
Fernsehsignalen fQr niedrige Obertragungsbitraten" 
Dissertation, TU Hannover, 1978). 

Die Grauwerte der geanderten Bildbereiche werden 
als relevante Information zum Empfanger Qbertragen; 
der stationare Hintergrund wird - da von Bild-zu-Bild 65 
unverandert — einem Hintergrundspeicher entnommen 
und verursacht keine Belastung des Obertragungska- 
nals. Damit der Empfanger die geanderten und Obertra- 
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genen Bildbereiche wieder an der richtigen Stelle in den 
stationaren Hintergrund einfugt, werden AbstandsmaBe 
zu einem Bildrand, sog. Adressen, mitQbertragen und 
vom Empfanger ausgewertet Dieses Verfahren wird 
mit Conditional-Replenishment bezeichnet 

Der den Kanal belastende Datenstrom setzt sich also 
zusammen aus der Information, die das sich bewegende 
Objekt und den freiwerdenden Hintergrund beschreibt 
und aus der Adressierungsinformation. Um die resultie- 
rende Datenrate weiter zu reduzieren, wird in der zitier- 
ten Arbeit vorgeschlagen, die Detailauflosung innerhalb 
von sich bewegenden Objekten durch TiefpaBfilterung 
weiter zu vermindenu Es wird dabei von der Oberle- 
gung ausgegangen, daB die unscharfe Wiedergabe be- 
wegter Objekte vom Auge noch am ehesten toleriert 
wird Das Verfahren wird so ausgebildet, daB die Tief- 
paBfilterung geschwindigkeitsgesteuert wirkt, d h., daB 
bei geringerer Bewegung mehr Details wiedergegeben 
werden als bei heftigerer Bewegung, 

Das Verfahren hat einige Schwachen und laBt folgen- 
de Probleme ungeldst: 

Die Segmentierung in Hintergrund, in bewegte und 
in geanderte Bildbereiche ist unvollkommen; so er- 
geben sich Schwierigkeiten, wenn durch die Hellig- 
keitsregetung von Videokameras im gesamten Bild 
Anderungen verursacht werden, wenn durch Qber- 
lagertes Hintergrundrauschen Bewegung vorge- 
tauscht wird und wenn aufgrund von Schlagschat- 
ten im Hintergrund, die als Bild-zu-Bildanderungen 
erkannt werden, for das Gesprach nicht relevante 
Information ubertragen werden muB. 
Die freiwerdenden Hintergrundstrukturen verur- 
sachen einen GroBteil der zu Ubertragenden Bildin- 
formation. 

Werden, um die Interpolation ausgelassener Teil- 
bilder Oder um einen Pradiktionsalgorithmus zu 
verbessern, Bewegungsschatzverfahren eingesetzt, 
verursachen Hintergrundstrukturen Probleme an 
Konturen von sich bewegenden Objekten. 

Die Erfindung hat zum Ziel, durch Verbesserung der 
Segmentierung diese Schwachen zu beseitigen. 

In der Fig. 5 ist eine typische Bildfernsprech-Szene in 
Draufsicht skizziert Die das Gesprach fuhrende Person 
8 sitzt vor der aufnehmenden Kamera 6 und beobachtet 
den GesprSchspartner auf einem Sichtgerat 7. Diese 
typische Szene ist eindeutig in Vordergrund (Kopf- 
Schulterbild der sprechenden Person) 8 und Hinter- 
grund 9 einzuteilen; es besteht somit die prinzipielle 
Moglichkeit, auch mit technischen Mitteln eine Unter- 
scheidung vorzunehmen. 

Diese Unterscheidung wird durch die im Patentan- 
spruch angegebenen Merkmale herbeigefuhrt. Vorteil- 
hafte Ausgestaltungen des Segmentierungsverfahrens 
sind in den Unteranspruchen angegeben. 

Das Segmentierungsverfahren der Erfindung hat den 
Vorteil, daB eine eindeutige Identifizierung von zum 
Aufnahmeobjekt gehorenden Bildelementen durch die 
Entfernungsvektoren mdglich ist und damit die durch 
Bewegung des Aufnahmeobjektes frei werdenden Teile 
des Hintergrundes aufgrund ihrer zu kleinen Entfer- 
nungsvektoren von der Bildverarbeitung ausgeschlos- 
sen werden kflnnen. Die zusatzlich vorgesehene beson- 
dere Ausbildung der Optik der Aufnahmekamera ver- 
starkt diese Wirkung. 

Im folgenden wird die Erfindung anhand von 3 Figu- 
ren naher erlautert Es zeigen die bereits besprochene 



3 4 

Fig. 1 die Aufgabenstellung, die Fig. 2 die bereits eben- 15 geleitet, an deren Ausgang ein Signal zur Unterschei- 
falls behandeite typische Bildfernsprech-Szene in dung von Vordergrund- und Hintergrund zur Verffl- 
Draufsicht, die Fig. 3 die Kameraanordnung zur Durch- gung steht.Durch logische VerknGpfung dieses Signals 
fOhrung des erfindungsgemaflen Verfahrens, die Fig. 4 mit dem Ausgang des Anderungsdetektors 16 werden 
das zugehdrige Blockschahbild. 5 die Signale zur Unterscheidung in geanderte Bildberei- 

Die Fig. 3 zeigt eine ahnliche Bildfernsprech-Szene che 17, in bewegte Objekte des Vordergrundes 18 und in 
wie die Fig. 2; zum Unterschied zu dieser sind jetzt 2 stationaren Hintergrund 19erzeugt 
Kameras 10 ncbeneinander angeordnet, die beide mit Somit wird der Einsatz von Bewegungsschatzverfah- 
einer automatisch auf den Vordergrund fokussierbaren ren erleichtert, und der bet Bewegung freiwerdende 
Optik versehen sind. Eine der beiden Kameras braucht io Hintergrund tragt, da unscharf aufgenommen, nur ge- 
nur schwarz-weifltauglich zu sein, sollte aber im ubrigen ring zur iibertragenen Information bel Auch die Ablei- 
die gleichen optischen Eigenschaften wie die andere Ka- tung von Objektkonturen durch Faltung mit einem spe- 
mera besitzen* Technische Varianten dieser prinzipiel- ziellen Operator, und Schwellenbildung zur UnterdrQk- 
len Anordnung, z.B. nur eine Aufnahraekamera mit kung geringwertiger Faltungsprodukte wird erleichtert 
Doppelobjektiv, sind denkbar. 1 5 (Geuen, W.: "Konturfindung auf der Basis des visuel- 

Bringt man die Bilder der linken und der rechten Ka- len Konturempfindens", Dissertation, Univ. Hannover, 
mera zur Deckung, so zeigt sich ein Versatz der Kontu- 1983) 

ren der aufgenommenen Objekte, wobei diejenigen des Der Effekt "scharf umrissene Konturen der sprechen- 
Vordergrundes starker gegeneinander verschoben sind den Person und unscharfer Hintergrund" und das Her- 
als die des Hintergrundes. Technisch laBt sich der Ver- 20 vorheben von Konturen laBt sich durch eine Apertur- 
satz mit den gleichen Methoden ermitteln, die auch bei korrektur, bzw. durch eine Unscharfmaskierung noch 
der Bewegungsschatzung zur Berechnung von Bewe- verstarken. 

gungsvektoren eingesetzt werdea Hier haben sich im Arp, F.: "Normgerechte Aperturkorrektur von Farb- 
Wesentlichen die sog. Block-Matching- Verfahren und fernsehsignalen" NTC 27 (1974) H. 4, S. 134— 138. 
differentielle Methoden herauskristallisiert 25 Insgesamt erlaubt die ErBndung eine Trennung der 

Beim bekannten sogenannten Displacement-Schatz- aufgenommenen Person mit den ihr zugeordneten Ein- 
verfahren (Displacement, engiisch fQr Verschiebung), richtungsgegenstanden vom Hintergrund. Durch diese 
versucht man einen eventuellen Bildversatz durch Ver- Unterscheidung kann eine Aussage getroffen werden, 
gleiche lokaler Bildinformationen im aktuelien Bild mit welche der geanderten Bildbereiche zum Hintergrund 
denen des vorangehenden Bildes zu ermitteln. Hierzu 30 gehfirea Sie werden, einmal Obertragen, in einen Hin- 
wird ein n Bildpunkte mal m Zeilen umfassender Probe- tergrundspeicher abgelegt und, wenn sie im Verlauf des 
ausschnitt (ein sog. Fenster) mit gleichgroBen aber 6rt- Gespraches erneut frei werden, diesem entnommen; sie 
lich verschobenen Fenstern des vorhergehenden Bildes fQhren somit zu keiner weiteren Belastung des Obertra- 
verglichen. gungskanals. Im Extremfall kann auch ein beliebiger, 

Man versucht nun die Verschiebung zu finden, fur die 35 vielleicht ortlich erzeugter Hintergrund eingeblendet 
sich eine mOglichst groBe Ahnlichkeit ergibt Dieses Op- werdea 
timierungsproblem wird bei sog. Block-Matching- Ver- 
fahren durch Suchstrategien in einem Suchbereich ge- 
Idst (Koga, T. et aL: W A 1.5 Mbit/s Interframe-Codec with 
Motion Compensation", Proc. Int Conf. on Commua, D 40 
8,7.1, June 1983 Boston, MA). 

Bei den differentiellen Verfahren hingegen wird aus 
den lokalen Veranderungen der Ahnlichkeit (urn einen 
n a-priori"-Schatzwert) auf die Lage des Optimums ge- 
schlossen (wie z. B. beim allg. bekannten Newtonschen 45 
Iterationsverfahrenjw Cafforio, C; Rocca, F.: "The Diffe- 
rential Method for Image Motion Estimation 9 , in Image 
Sequence Processing and Dynamic Scene Analysis, edi- 
ted by T. S. Huang, Berlin, Springer-Verlag, pp. 
104-124,1983. 50 

Die LSnge der Vektoren ist im vorliegenden Zusam- 
menhang jedoch nicht ein MaB fur die Geschwindigkeit, 
sondern ein AbstandsmaB, d. h. je n&her sich ein Objekt 
zur Kamera befindet, urn so linger werden die ermittel- 
ten Vektoren. Diese reprasenueren die Objektkonturen 55 
und nach einer Unterdriickung der kGrzeren Vektoren 
werden die Konturen deutlicher hervortretea 

Durch die automatische Fokussierung ist sicherge- 
stellt, daB lediglich der mit dem Pfeil 21 bezeichnete 
Scharfentiefebereich scharf abgebildet wird, wahrend 60 
der Hintergrund 9 unscharf und mit geringer Detailauf- 
losung aufgenommen wird. 

Das Blockschaltbild nach Fig. 4 zeigt das Verfahren- 
sprinzip. Zwei zeitlidi aufeinanderfolgende Bilder des 
linken 11 und des rechten Kanals 12 werden jeweils 65 
einem Anderungsdetektor 13 und einem Bewegungs- 
schatzer 14 zugefuhrt Das Ergebnis der Bewegungs- 
schatzung wird fiber eine adaptiv einstelibare Schwelle 
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Abstract 



Method of improving image segmentation of a video telephone scene 

The transmission bitrate of a video telephone scene is to be reduced by means of 
image segmentation, in which only the foreground information represented by the moving 
recording object needs to be transmitted. The essentially stationary background information 

can be taken from a memory. 

For a better separation of foreground information from background information, 
distance vectors are derived from the known distance-dependent offset of the object contours 
of two stcreoscopically recorded television images in accordance with the methods hitherto 
known for determining motion vectors. Only distance vectors as from a given value are used 
for the subsequent image-processing operation. A further accentuation of the recording object 
can be achieved by means of optical systems sharply imaging only the foreground. The 
foreground may also be accentuated by masking the out-of-focus of the background (Fig. 3). 



Claims 

1. 



A method of improving image segmentation of a video telephone scene into variable 
foreground information, which is represented by the moving recording object, and 
essentially stationary background information, which is to be transmitted only once, 
characterized in that two juxtaposed cameras (10) first stereoscopically pick up two 
television images of the same object in known m2naer, in that subsequently, m 
accordance with a known method of determining motion vectors, each pixel is provided 
with a distance vector on the basis of the distance-dependent offset of the contours of 
bo+h images of the recording object, which distance vector is reciprocal to the distance 
between the camera and the recording object, and in that only the distance vectors as from 
a given vaiue are used for the subsequent image-processing operation. 
A method as claimed in claim I, characterized in that a further accentuation of the 
recording object is achieved by means of an optical system in the pick-up camera sharply 
imaging only the foreground (Tig. 3). . 
A method as claimed in claims 1 and 2, characterized in that the foreground is 
accentuated by masking the out-of-focus of the background. 

A method as claimed in claim 1, characterized in that the distance vectors are determined 
in accordance with the block -matching method. 

A method as claimed in claim 1, characterized in that the distance vectors are determined 
in accordance with differential methods. 
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Description 



The invention relates to a method as defined in the precharacterizing part of claim I. 

The Figure elucidates the object of the invention. It shows a typical video telephone 
scene comprising in the foreground, the interlocutor's head represented as circles 3 and 4 and 
moving in the direction indicated by the arrow 5, while - apart from the circumstances dealt 
with hereinafter - the background 1 remains unchanged. When the head in the foreground 
moves from the broken-line oosition 3 to the extended position 4, previously covered areas of 
the background will become visible. The head's movement thus results m a change of the 
image in the areas 3 and 4. 

Relatively simple segmentation methods allow distinction between stationary 
backgrounds and area changes. However, there are already segmentation methods in which 
the moving objects are separated from the background areas that become visible as a result of 
the movement (Klie J. "Codierung von Fernsehsignalen fur niednge Ubertragmgsbitraten 
Thesis, Technical University of Hannover, 1978). . 

The gray values of the changed image areas are transmitted as relevant information to 
the receiver, the stationary background - being unchanged from image to image - is taken 
from a background memory and does not constitute a load for the transmission channel. In 
order that the receiver inserts the changed and transmitted image areas into the right position 
in the stationary background again, distance measurements up to an image edge, referred to 
as addresses, are also transmitted and evaluated by the receiver. This method is known as 
conditional replenishment. . 

The data stream loading the channel is thus constituted by the information described 
by the moving head and the background that becomes visible, and by the address information. 
To further reduce the resultant data rate, the document cited proposes to further reduce the 
detail resolution within moving objects by way of low^pass filtering. This is based on the 
consideration that the human eye easily tolerates the blurred display of moving objects. The 
method is implemented in such a way that the low-pass filtering operation is speed- 
controlled, i.e. more details are displayed upon slower movements than upon faster 
movements. 

The method has some drawbacks, leaving the following problems unsolved: 

The segmentation into background, into moving and into unchanged image areas is 
inadequate: difficulties occur when the overall image is changed due to luminance control of 
the video camera, when motion is simulated due to superimposed background noise, and 
when deep shadows in the background, detected as image-to-image changes, require 
transmission of information which is irrelevant to the conversation. 

The background structures that become visible constitute a major part of the image 
infonnation to be transmitted. 

If motion estimation methods are used to improve the interpolation of partial images 
that have been left out, or to improve a prediction algorithm, background structures will cause 
problems at the contours of moving objects. 
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It is an object of the invention to obviate these drawbacks by improving the 
segmentation ^ ^ telephone scene in a plan view. The person 8 conducting 
the conversation is sitting in from of the pick-up camera 6 and sees his interlocutor on a 
display unit 7. This typical scene can be unambiguously drv.ded into a foreground (head- 
shoulder image of the speaking person) 8 and a background 9; it .s tnus principally possible 
to also make a distinction with technical means. 

T^TchaTacteristic features defined in the claim realize this distinction. Aavantageous 
implementations of the segmentation method are defined in the dependent claims 

The seementation method according to the invention has the advantage that an 
unambiguous identification of pixels associated with the recording ob-ect » P°«We 1 jy way 
of the distance vectors, so that the background parts becoming visible by movemem of the 
? eC ording object can be excluded from the image-processing operation because of their too 
sS dSance vectors. The additional special implementation of the optical system of the 
oick-up camera enhances this effect. , , 

P The invention wilt hereinafter be elucidated by way of 3 Figures. Fig. 1 
described, shows the object of the invention, Fig. 2, also described, »^*?^ 
telephone scene in a plan view, Fig. 3 shows the camera arrangement & performing the 
metCd according to the invention, and Fig. 4 shows the associated Mock digram. 

2 cameras 10 are juxtaposed, both of which are provided with an optical system winch can be 
auCSa lyTocused to the foreground. One of the two cameras only needs to be sunaWe for 
5a* and white but told otherwise have the same optical properties as the <^»~ 
Technical variants of this principal arrangement, e.g. only one pick-up camera with a double 

° bjeCti Wh^ of the left and the right camera are caused to register, the colours 

of the recorded objects show an offset, with those of the foreground being mutually offset to 
fsS ^^en? than those of the background. Technically, the offset can be determined by 
me^s of the" same methods as are also used in motion estimation for computing ; rnouon 
vec* s ; E wS3ly. the block-matching and differential methods have emanated therefrom. 

In Sown displacement estimation method, it is attempted to determine a .possible 
image offset by comparing local image information in the current frame with that of the 
previous frame To this end, a trial section (referred to as window) comprising « pixels by m 
rows is compared with equally large tut locally offset windows of the previous frame, 
rows compar s t / find 6 that displacement for which a maximal similarly results. 

This optimization problem is solved in the block-matching method by using search strategies 
in a search range (Koga T. et al.: "A 1.5 Mbit/s Interframe Codec with Motton 
Compensation", Proc. tat Conf. On Commun.D 8,7.1 June 198, Boston, MAX 

In the differential method, however, the local changes of similarity (by an a-pnon 
estimation value) are deduced from the location of the optimum (as e .g. m the generally 

toation method). Caffbrio C; Rocca F: "The Differentia. Method for Image 
MoTn Estimation- in Image Sequence Processing and Dynamic Scene Analysis, edited by 
T S Huant Berlin, Springer Publishing Company, pp. 104-124, 1983. 

The length of the vectors is. however, not a measure of speed in this respect., but a 
distance measure i.e. the closer an object is to the camera, the longer the vectors found will 
be. They represent the object contours, and after a suppression cf the shorter vectors, the 
contours will be more prominent. 
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The automatic focusing ensures that only the depth-of-focus area denoted by the 
arrow 21 is imaged sharply, whereas the background 9 is recorded out of focus and with little 

detail resolution. . • • 

The block diagram of Fig. 4 shows the principle of the method. Two time-sequential 
frames of the left channel 1 1 and the right channel 12 are applied to a change detector 13 and 
a motion estimator 14. The motion estimation result is applied to an adaptively adjustable 
threshold 15 whose output conveys a signal for foreground and background distinction. By 
logic combination of this signal with the output of the change detector 16 the signals are 
generated in changed image areas 17, in moving objects of the foreground 1 8 and in the 
stationary background 19 for the purpose of distinction. 

Thus the use of the motion estimation method is simplified, and the background 
becoming visible upon motion contributes to the transmitted information to a small extent 
only because it is recorded out of focus. Also the operations of deriving object contours by 
convolution with a special operator, and thresholding for suppressing low-value convolution 

products are simplified. „ . 

(Geuen W. ; "Konturflndung auf der Basis des visuellen Konturempfindens , 1 nests, 

University of Hannover, 1983 .) 

The effect of "sharply defined contours of the speaking person and out-of-rocus 
background" and the accentuation of contours can even be enhanced by means of an aperture 
correction or by out-of-focus masking. 

Arp F.: "Normgerechte Aperturkorrektur von Farbfemsehsignalen' , M£ 2/ i«) 

H ' 4, ^summary the invention allows separation of the recorded person with the 
associated objects'from the background. This distinction provides the possibility of 
determining which changed image areas belong to the background. Once transmitted Jey are 
stored in a background memory and when they become visible again in the course of tfie 
telephone conversation, they are taken from this memory. Thus, they do not lead to a further 
load of the transmission channel. In the extreme case, an arbitrary, perhaps locally generated 
background may be inserted.' 



